Configurable EBEN: Extreme Bandwidth Extension Network to enhance body-conducted speech capture

This paper presents a configurable version of Extreme Bandwidth Extension Network (EBEN), a Generative Adversarial Network (GAN) designed to improve audio captured with body-conduction microphones. We show that although these microphones significantly reduce environmental noise, this insensitivity to ambient noise happens at the expense of the bandwidth of the speech signal acquired by the wearer of the devices. The obtained captured signals therefore require the use of signal enhancement techniques to recover the full-bandwidth speech. EBEN leverages a configurable multiband decomposition of the raw captured signal. This decomposition allows the data time domain dimensions to be reduced and the full band signal to be better controlled. The multiband representation of the captured signal is processed through a U-Net-like model, which combines feature and adversarial losses to generate an enhanced speech signal. We also benefit from this original representation in the proposed configurable discriminators architecture. The configurable EBEN approach can achieve state-of-the-art enhancement results on synthetic data with a lightweight generator that allows real-time processing.Comment: Accepted in IEEE/ACM Transactions on Audio, Speech and Language Processing on 14/08/202

Nonlinear internal wave penetration via parametric subharmonic instability

We present the results of a laboratory experimental study of an internal wave field generated by harmonic, spatially periodic boundary forcing from above of a density stratification comprising a strongly stratified, thin upper layer sitting atop a weakly stratified, deep lower layer. In linear regimes, the energy flux associated with relatively high frequency internal waves excited in the upper layer is prevented from entering the lower layer by virtue of evanescent decay of the wave field. In the experiments, however, we find that the development of parametric subharmonic instability in the upper layer transfers energy from the forced primary wave into a pair of subharmonic daughter waves, each capable of penetrating the weakly stratified lower layer. We find that around 10% of the primary wave energy flux penetrates into the lower layer via this nonlinear wave-wave interaction for the regime we study.ONLITUR ((No. ANR-2011-BS04-006-01)National Science Foundation (U.S.) (No. OCE-1357434

Prédiction objective de l'effet des systèmes tactiques de communication et protection sur les performances de localisation sonore

In many civilian or military situations, hearing protection is of major importance. The listener's acoustical situational awareness must however also be preserved. Tactical Communication and Protective Systems (TCAPS) are hearing protection devices that sufficiently protect the listener's ears from hazardous sounds and preserve speech intelligibility, thus allowing low-level speech communication. However, previous studies demonstrated that TCAPS still deteriorate the listener's situational awareness, in particular the ability to locate sound sources. On the horizontal plane, this is mainly explained by the degradation of the acoustical cues normally preventing the listener from making front-back confusions. In the present PhD work, a behavioral sound localization experiment is conducted with six TCAPS: two passive and two active earplugs, and two active earmuffs. The performance in open ear condition is not retrieved with any protector, but the experiment ranks the TCAPS by type: passive earplugs lead to better performance than active earplugs, and active earmuffs induce the worst performance. As part of TCAPS development and assessment, a method predicting the protector-induced degradation of the sound localization capability, and based on electroacoustic measurements, would be more suitable than time-consuming behavioral experiments. In this context, two methods based on Head-Related Transfer Functions (HRTFs) measured on an artificial head are investigated: a template-matching model and a three-layer neural network. They are optimized to fit human sound localization performance in open ear condition. The methods are applied to the HRTFs measured with the six TCAPS, providing position-dependent localization probabilities. Compared with the behavioral results, the neural network predicts realistic performances with earplugs, but overestimates errors with earmuffs. The template-matching model predicts human performance well. However, the likelihood of the resulting probability distributions with the behavioral observations is lower than that of the neural network. Finally, both methods developed in this study are independent of the artificial head used, and can be applied to assess not only TCAPS prototypes, but also hearing aids.Dans de nombreuses situations civiles ou militaires, la protection de l'audition du personnel est cruciale. La perception et l'interprétation de l'environnement sonore par l'auditeur doivent cependant être préservées. Les Systèmes Tactiques de Communication et Protection (TCAPS) sont des protections auditives qui, à la fois, protègent suffisamment les oreilles de l'auditeur contre les bruits dangereux, et préservent l'intelligibilité, permettant ainsi la communication vocale à bas niveau. Des études précédentes ont cependant démontré que les TCAPS continuent de détériorer la perception de l'environnement sonore de l'auditeur, en particulier sa capacité à localiser les sources sonores. Sur le plan horizontal, la dégradation des indices acoustiques empêchant, en temps normal, l'auditeur de confondre les sources avant et arrière, en est la principale explication. Dans ce travail de thèse, une expérience subjective de localisation sonore est conduite avec six TCAPS: deux bouchons d'oreille passifs, deux bouchons d'oreilles actifs et deux casques actifs. Si aucun protecteur ne permet de retrouver les performances de la condition d'écoute normale, l'expérience permet de classifier les TCAPS du point de vue de la localisation sonore: les performances des bouchons passifs sont meilleures que celles des bouchons actifs, et les casques actifs engendrent les plus mauvaises performances. Dans le cadre de la conception et de l'évaluation des TCAPS, une méthode prédisant leur dégradation des performances de localisation sonore, basée sur des mesures électroacoustiques, serait plus adaptée que des expériences comportementales très chronophages. Dans ce contexte, deux méthodes basées sur les Fonctions de Transfert Relatives à la Tête (HRTF) mesurées sur tête artificielle sont étudiées: un processus d'appariement et un réseau de neurones à trois couches. Ils sont optimisés pour reproduire les performances de localisation humaine en condition d'écoute normale. Les méthodes sont ensuite appliquées aux HRTF mesurées avec les six TCAPS, et prédisent des probabilités de localisation en fonction de la position. Comparé aux résultats de l'expérience subjective, le réseau de neurones prédit des performances réalistes avec les bouchons d'oreille, mais surestime les erreurs avec les casques. Le modèle d'appariement prédit correctement les performances de localisation. Toutefois, la vraisemblance de ses distributions de probabilité avec les observations subjectives demeure plus faible que celle du réseau de neurones. Pour finir, les deux méthodes développées dans cette étude sont indépendantes de la tête artificielle utilisée, et peuvent être utilisées pour évaluer non seulement des prototypes de TCAPS, mais aussi des prothèses auditives

Objective prediction of the effect of tactical communication and protective systems on sound localization performance

Dans de nombreuses situations civiles ou militaires, la protection de l'audition du personnel est cruciale. La perception et l'interprétation de l'environnement sonore par l'auditeur doivent cependant être préservées. Les Systèmes Tactiques de Communication et Protection (TCAPS) sont des protections auditives qui, à la fois, protègent suffisamment les oreilles de l'auditeur contre les bruits dangereux, et préservent l'intelligibilité, permettant ainsi la communication vocale à bas niveau. Des études précédentes ont cependant démontré que les TCAPS continuent de détériorer la perception de l'environnement sonore de l'auditeur, en particulier sa capacité à localiser les sources sonores. Sur le plan horizontal, la dégradation des indices acoustiques empêchant, en temps normal, l'auditeur de confondre les sources avant et arrière, en est la principale explication. Dans ce travail de thèse, une expérience subjective de localisation sonore est conduite avec six TCAPS: deux bouchons d'oreille passifs, deux bouchons d'oreilles actifs et deux casques actifs. Si aucun protecteur ne permet de retrouver les performances de la condition d'écoute normale, l'expérience permet de classifier les TCAPS du point de vue de la localisation sonore: les performances des bouchons passifs sont meilleures que celles des bouchons actifs, et les casques actifs engendrent les plus mauvaises performances. Dans le cadre de la conception et de l'évaluation des TCAPS, une méthode prédisant leur dégradation des performances de localisation sonore, basée sur des mesures électroacoustiques, serait plus adaptée que des expériences comportementales très chronophages. Dans ce contexte, deux méthodes basées sur les Fonctions de Transfert Relatives à la Tête (HRTF) mesurées sur tête artificielle sont étudiées: un processus d'appariement et un réseau de neurones à trois couches. Ils sont optimisés pour reproduire les performances de localisation humaine en condition d'écoute normale. Les méthodes sont ensuite appliquées aux HRTF mesurées avec les six TCAPS, et prédisent des probabilités de localisation en fonction de la position. Comparé aux résultats de l'expérience subjective, le réseau de neurones prédit des performances réalistes avec les bouchons d'oreille, mais surestime les erreurs avec les casques. Le modèle d'appariement prédit correctement les performances de localisation. Toutefois, la vraisemblance de ses distributions de probabilité avec les observations subjectives demeure plus faible que celle du réseau de neurones. Pour finir, les deux méthodes développées dans cette étude sont indépendantes de la tête artificielle utilisée, et peuvent être utilisées pour évaluer non seulement des prototypes de TCAPS, mais aussi des prothèses auditives.In many civilian or military situations, hearing protection is of major importance. The listener's acoustical situational awareness must however also be preserved. Tactical Communication and Protective Systems (TCAPS) are hearing protection devices that sufficiently protect the listener's ears from hazardous sounds and preserve speech intelligibility, thus allowing low-level speech communication. However, previous studies demonstrated that TCAPS still deteriorate the listener's situational awareness, in particular the ability to locate sound sources. On the horizontal plane, this is mainly explained by the degradation of the acoustical cues normally preventing the listener from making front-back confusions. In the present PhD work, a behavioral sound localization experiment is conducted with six TCAPS: two passive and two active earplugs, and two active earmuffs. The performance in open ear condition is not retrieved with any protector, but the experiment ranks the TCAPS by type: passive earplugs lead to better performance than active earplugs, and active earmuffs induce the worst performance. As part of TCAPS development and assessment, a method predicting the protector-induced degradation of the sound localization capability, and based on electroacoustic measurements, would be more suitable than time-consuming behavioral experiments. In this context, two methods based on Head-Related Transfer Functions (HRTFs) measured on an artificial head are investigated: a template-matching model and a three-layer neural network. They are optimized to fit human sound localization performance in open ear condition. The methods are applied to the HRTFs measured with the six TCAPS, providing position-dependent localization probabilities. Compared with the behavioral results, the neural network predicts realistic performances with earplugs, but overestimates errors with earmuffs. The template-matching model predicts human performance well. However, the likelihood of the resulting probability distributions with the behavioral observations is lower than that of the neural network. Finally, both methods developed in this study are independent of the artificial head used, and can be applied to assess not only TCAPS prototypes, but also hearing aids

Comparaison entre PESQ et MUSHRA pour l’estimation de la qualité audio d’un signal de parole enregistré par des microphones « non-conventionnels »

Lorsque l'on parle, on génère non seulement du signal aérien, mais aussi des vibrations qui se propagent dans les différents éléments constituant notre tête. Ces vibrations contiennent l’information du signal de parole et peuvent être enregistrées. On appelle microphones « non conventionnels » tous les capteurs permettant d’enregistrer ces signaux se propageant dans notre corps. Les microphones non conventionnels sont souvent moins sensibles au bruit ambiant que les microphones acoustiques classiques, ils peuvent être utilisés dans des environnements difficiles et ils sont compatibles avec les équipements de tête tels que les masques de protection NRBC. Le plus ancien microphone « non conventionnel » est le laryngophone mais il en existe d’autres comme la prise de son aérienne dans le conduit auditif ou les microphones à conduction osseuse. Des études antérieures ont pu montrer que l’intelligibilité de ces types de prise de son était dégradée. Le but de cette étude est de vérifier si une méthode objective telle que PESQ peut être utilisée pour estimer la qualité audio de ces microphones. Une comparaison entre les résultats obtenus par la méthode objective PESQ et celle subjective MUSHRA a été réalisée sur l'estimation de la qualité audio des signaux de parole provenant de quatre types différents de microphone « non conventionnel »

Deep Learning pour l’amélioration de signaux vocaux captés avec des transducteurs intra-auriculaires

National audienceCe projet de recherche est né d’une collaboration entre l’équipe LMSSC (Laboratoire de Mécanique des Structures et des Systèmes Couplés) du CNAM et l’équipe APC (Acoustique et Protection du Combattant) de l’ISL. Il a pour objectif d’améliorer l’intelligibilité de la parole captée par un microphone intra-auriculaire développé par l’ISL. Ce dispositif de captation non- conventionnel, adossé à une protection auditive active, permet de capter les signaux vocaux émis par un locuteur en éliminant toutes nuisances sonores extérieures. Cependant, le trajet acoustique entre la bouche et les transducteurs est responsable d’une perte totale d’information au-delà de 2 kHz. En basses fréquences, une légère amplification ainsi que des bruits physiologiques sont observés. Nous avons donc à faire à un problème de reconstruction de signal absent en hautes fréquences et de débruitage.Les méthodes par apprentissage profond seront privilégiées pour la reconstruction des hautes fréquences au détriment du modèle source-filtre qui n’est pas capable de rétablir d’information manquante.Une première phase d’analyse des signaux captés est nécessaire pour modéliser la dégradation et observer sa variabilité. La conception d’une base de données conséquente est alors rendue possible avec un filtrage numérique simulant les détériorations observées. Afin d’augmenter la richesse de cette base de données et d’éviter tout phénomène de sur- apprentissage, une composante aléatoire sera introduite dans le filtrage.La conception de réseaux de neurones profonds est maintenant rendue possible pour la régénération du signal émis à partir du signal dégradé. Une vaste exploration sur l’architecture des réseaux, les fonctions de coût utilisées et les stratégies d’apprentissage sera entreprise. L’objectif final est d’intégrer un réseau d’inférence sur une carte de programmation pour un traitement en temps réel. Une attention particulière sera attachée à la taille du réseau et au délai de traitement sur ce type d’architecture légère et peu consommatrice d’énergie

Sound localization models as evaluation tools for tactical communication and protective systems

International audienceTactical Communication and Protective Systems (TCAPS) are hearing protection devices that sufficiently protect the listener' s ears from hazardous sounds and preserve speech intelligibility. However, previous studies demonstrated that TCAPS still deteriorate the listener' s situational awareness, in particular, the ability to locate sound sources. On the horizontal plane, this is mainly explained by the degradation of the acoustical cues normally preventing the listener from making front-back confusions. As part of TCAPS development and assessment, a method predicting the TCAPS-induced degradation of the sound localization capability based on electroacoustic measurements would be more suitable than time-consuming behavioral experiments. In this context, the present paper investigates two methods based on Head-Related Transfer Functions (HRTFs): a template-matching model and a three-layer neural network. They are optimized to fit human sound source identification performance in open ear condition. The methods are applied to HRTFs measured with six TCAPS, providing identification probabilities. They are compared with the results of a behavioral experiment, conducted with the same protectors, and which ranks the TCAPS by type. The neural network predicts realistic performances with earplugs, but overestimates errors with earmuffs. The template-matching model predicts human performance well, except for two particular TCAPS

Deep Learning pour l’amélioration de signaux vocaux captés avec des transducteurs intra-auriculaires

National audienceCe projet de recherche est né d’une collaboration entre l’équipe LMSSC (Laboratoire de Mécanique des Structures et des Systèmes Couplés) du CNAM et l’équipe APC (Acoustique et Protection du Combattant) de l’ISL. Il a pour objectif d’améliorer l’intelligibilité de la parole captée par un microphone intra-auriculaire développé par l’ISL. Ce dispositif de captation non- conventionnel, adossé à une protection auditive active, permet de capter les signaux vocaux émis par un locuteur en éliminant toutes nuisances sonores extérieures. Cependant, le trajet acoustique entre la bouche et les transducteurs est responsable d’une perte totale d’information au-delà de 2 kHz. En basses fréquences, une légère amplification ainsi que des bruits physiologiques sont observés. Nous avons donc à faire à un problème de reconstruction de signal absent en hautes fréquences et de débruitage.Les méthodes par apprentissage profond seront privilégiées pour la reconstruction des hautes fréquences au détriment du modèle source-filtre qui n’est pas capable de rétablir d’information manquante.Une première phase d’analyse des signaux captés est nécessaire pour modéliser la dégradation et observer sa variabilité. La conception d’une base de données conséquente est alors rendue possible avec un filtrage numérique simulant les détériorations observées. Afin d’augmenter la richesse de cette base de données et d’éviter tout phénomène de sur- apprentissage, une composante aléatoire sera introduite dans le filtrage.La conception de réseaux de neurones profonds est maintenant rendue possible pour la régénération du signal émis à partir du signal dégradé. Une vaste exploration sur l’architecture des réseaux, les fonctions de coût utilisées et les stratégies d’apprentissage sera entreprise. L’objectif final est d’intégrer un réseau d’inférence sur une carte de programmation pour un traitement en temps réel. Une attention particulière sera attachée à la taille du réseau et au délai de traitement sur ce type d’architecture légère et peu consommatrice d’énergie

Altérations des formants par l’utilisation de microphones « non conventionnels »

Dans les environnements bruyants la communication à distance est un véritable défi. L’utilisation de microphones classiques enregistrant l’onde aérienne émise par la bouche et les narines peut poser problème tant sur le plan de l’ergonomie que sur celui de la robustesse dans l’acquisition du signal de parole. Les microphones non conventionnels (laryngophones, microphones à conduction osseuse, microphones intra-auriculaires …) qui mesurent le signal de parole se propageant au travers du corps, apportent une nouvelle solution. En effet, ils sont moins sensibles aux bruits environnants et sont compatibles avec des équipements de tête comme les masques à gaz. Cependant l’intelligibilité et la qualité du signal enregistré avec ce type de microphones est un frein à leur utilisation. Ainsi l’étude de ces derniers représente un grand intérêt. Pour comprendre leurs effets sur le signal de parole, des volontaires équipés de différents types de microphones ont prononcé une série de voyelles phonétiques. A l’aide des suivis des formants, une comparaison des microphones « non conventionnels » avec un microphone aérien de référence, a été réalisée. La présente étude donne des premiers résultats, premiers pas vers la compréhension de la perte d’intelligibilité engendré par ces microphones

Influence of bone conduction transducers position and constraint on propagation to the ear

International audienceSolid-state transducers are nowadays integrated in communication headsets that open the way to a new category of headsets that are of interest in both military and civil applications. Sounds are stimulated to the inner ear directly through the bones and cartilage of the skull. The main advantage of this technology is to offer the user the possibility to have the ear clear to remain alert to his environment or to use earplugs with a high level of protection while continuing to communicate via a radio system. Different types of transducers are used in a measurement protocol to determine the influence of the bearing force and position of the transducer on the propagation from the skin to the reception by a listener. The measurement setup includes laser vibrometry measurements on the skin and solid-state hearing threshold measurements